package com.catmiao.spark.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @title: RDD_Create_01_Memory
 * @projectName spark_study
 * @description: TODO
 * @author ChengMiao
 * @date 2024/2/1 11:33
 */
object RDD_Create_02_File {

  def main(args: Array[String]): Unit = {

    val sparkCon = new SparkConf().setMaster("local[*]").setAppName("rdd")

    val sparkContext = new SparkContext(sparkCon)

    // 从文件中创建rdd
    // path路径默认以当前环境的根路径为基准，可以写绝对路径
    // 也可以使用通配符 datas/*.txt
    // 也可以是hdfs路径 hdfs://vm100/datas/
    val rdd: RDD[String] = sparkContext.textFile("datas")


    rdd.collect().foreach(println)


    sparkContext.stop()

  }

}
